Validity Threats for Foundation Model Research
基础模型研究中的效度威胁：一个因果推断评估框架
🧭 基础模型研究效度评估框架 ★ 深度解读
University of Tübingen · University of Vienna
为节省算力而采用的代理实验、观察性研究、单次运行等策略，会引入统计、内部、外部和构念效度威胁，不可免费换取。
📌 工作参考价值（4 点）
- 代理实验（Proxy Experiments）的外推风险：在推荐/Agent 研发中，若用小规模模型或代理任务（如点击率预测代在离线收益）来筛选方案，必须验证结论能否跨规模泛化，否则可能错失真正有效的大模型配置。可借鉴论文中对外部效度和构念效度的警示，设计从小到大的校准实验。
- 观察性研究（Observational Studies）中的混淆因子：分析公开模型榜单、开源 Recipe 时，时间、数据泄露、架构更新等混淆变量会导致虚假关联。我们在分析离线实验与在线指标关系时，应像论文建议的那样尝试用因果推断方法（如调整混淆、使用工具变量）替代简单的相关性分析。
- 单次训练内实验（Single-Run Designs）的干扰问题：当在单次训练中比较不同数据点影响（如数据价值、记忆化分析）时，共享模型参数会造成单元间干扰，破坏内部效度。Agent 中做数据 attribution 或行为归因时，需意识到标准 DiD/RDD 等方法的“无干扰”假设在 LLM 中极易违反，可探索独立 canary 注入等理论控制方法。
- 评估框架的迁移使用：论文提出的统计、内部、外部、构念四维效度检查清单可直接用于评审推荐系统的实验设计，例如评估新召回模型时自问：样本量是否足够（统计）？是否控制了混因（内部）？在电商大促数据上训练的结果能推广到日常吗（外部）？离线 AUC 提升真代表用户体验改善吗（构念）？